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Abstract. Non-stationary environments suffers from a problem denominated 
concept-drift, that is, data distribution changes through the time. Solve such 
problems is extremely important in artificial intelligence field. Generally, al¬ 
gorithms that deal with concept-drift are applied in stream scenarios such as, 
robotics, image classification and sensors. However, to detect these changes, are 
necessary statistical procedures capable of support learning algorithms to adapt 
to distribution drifts. Since this scenarios have a vast amount of incoming data, 
the processing speed is crucial. Taking into account the mentioned challenges, 
we propose a parallelized image classification approach in non-stationary envi¬ 
ronments using the OpenMP tool. We show that with a few threads is possible to 
improve the entire learning process up to 355%. We show how we developed the 
entire parallelism, the efficiency and the speed-up achieved over the sequential 
version using a real dataset about images. 

Resumo. Ambientes ndo estacionarios sofrem de um problema conhecido como 
concept-drift, isto e, a distribuigdo dos dados muda de acordo com o tempo. 
Resolver tal problema e muito importante na area da inteligencia artificial. Ge- 
ralmente, algoritmos que lidam com o problema de concept-drift sdo aplicados 
em cendrios de stream de dados, por exemplo, em robotica, classificagdo de 
imagens, sensores entre outros. Entretanto, para detectar essas mudangas, sdo 
necessdrios procedimentos estatisticos capazes de ajudar algoritmos de apren- 
dizagem a se adaptarem as mudangas da distribuigdo. Por conta do cendrio de 
stream de dados possuir uma grande quantidade de entrada de dados, a veloci- 
dade de processamento e crucial. Levando em conta os desafios mencionados, 
nos propomos uma abordagem paralelizada de classificagdo de imagens em am¬ 
bientes ndo estacionarios usando a ferramenta OpenMP. Mostramos que com 
poucas threads e posstvel melhorar a velocidade de todo o processo de aprendi- 
zado em ate 355%. Mostramos como desenvolvemos o paralelismo, a eficiencia 
e o speed-up alcangados sobre a versdo sequencial em uma base de dados real. 



1. Introdugao 

Em ambientes nao estacionarios e comum que ocorra o problema conhecido como 
concept-drift. Concept-drift e a mudanga da distribuigao dos dados ao longo do tempo 
[Widmer e Kubat 1996]. Dessa forma, algoritmos de aprendizado de maquina devem 
aprender imediatamente com as alteragSes que ocorrem na distribuigao dos dados, bus- 
cando uma melhor representagao das classes dentre os dados recem chegados.Alem disso, 
os modelos para lidar com este tipo de domfnio de stream de dados devem nao so ter uma 
boa acuracia e boa adaptabilidade a pequenas mudangas mas tambem devem ser rapidos 
o suficiente para dar a resposta necessaria dentro de um ambiente dinamico e com vasta 
quantidade de dados [Olorunnimbe et al. 2017]. 

Existem varias tarefas que podem ser realizadas por algoritmos de aprendi¬ 
zado de maquina, uma delas e a classificagao. Neste contexto, existem solugoes de 
classificagao de imagens online, onde o modelo de aprendizado se adapta conforme a 
distribuigao das imagens vai se alterando gradualmente [Qi et al. 2009]. Alem disso, 
[Camps-Valls e Bruzzone 2005] mostraram que tecnicas baseadas em kernel , como o Sup¬ 
port Vector Machine (SVM) [Boser et al. 1992], funcionam muito bem para problemas de 
classificagao de imagens. 

O SVM e um algoritmo de aprendizado supervisionado usado para classificagao 
e analise de regressao. O que o SVM faz e encontrar uma linha de separagao, atraves do 
ajuste de duas variaveis, Gamma e C. Assim, o algoritmo cria um hiperplano entre dados 
de duas classes. Essa linha busca maximizar a distancia entre os pontos mais proximos 
em relagao a cada uma das classes. A complexidade do SVM com kernel linear, usado 
neste trabalho, e 0(nk) onde ne o numero defeatures c k o numero de amostras . 

Metodos supervisionados funcionam bem, quando apoiados por metodos es- 
tatfsticos a fim de lidar com o problema de concept-drift [Capo et al. 2014]. Esta aborda- 
gem retem as melhores instancias dentro de uma distribuigao de dados ao longo do stream 
enquanto descarta as instancias que podem atrapalhar o classificador. 

Desta forma, propusemos uma abordagem paralela onde um classificador super¬ 
visionado, no caso o SVM, classifica as novas imagens do stream enquanto o metodo 
estatfstico Kernel Density Estimation (KDE) [Parzen 1962] na versao multivariante, sele- 
ciona as imagens mais representativas ja classificadas pelo SVM, para o proximo hatch 
de imagens que chegara no tempo t + 1. Assim, reduz-se a quantidade de dados utilizados 
na etapa de treinamento emf + 1 enquanto detecta-se as instancias mais representativas 
na distribuigao dos dados. 

KDE e uma tecnica de estimativa de densidade usada para normalizar e suavi- 
zar a distribuigao de um determinado conjunto de dados. E bastante usado em varias 
aplicagoes, desde ajudar a selecionar estimadores [Lacour et al. 2017] ate aplicagoes web 
[Ferreira e Mello ]. O KDE encontra as regioes de maior densidade da distribuigao, con- 
tendo as instancias mais relevantes. A complexidade do KDE multivariante com kernel 
Gaussiano, usado neste trabalho, e (){n 2 k) onde ne o numero de instancias c k o numero 
de dimensoes. 

A demanda por processamento dos algoritmos usados neste trabalho eleva a neces- 
sidade de paralelismo, para que o tempo de processamento de todo o fluxo seja reduzido 
como consequencia. Dentre as ferramentas disponfveis para paralelizar recursos compu- 



tacionais, existe o OpenMP [Wang et al. 2010], que e uma API de programagao paralela 
disponfvel em C/C++. A interface OpenMP foi escolhida para dar suporte ao paralelismo 
em memoria compartilhada por conta de seu mvel de abstragao. 

2. Experimentos 

Cinco partes compdem o fluxo de classificagao de imagens em ambientes 
dinamicos. Processamento da base de dados, escolha dos melhores valores dos parametros 
do SVM, treino, classificagao das imagens e processamento do KDE. Dessas cinco partes, 
o treino e a classificagao nao foram paralelizadas, pois nestes casos, o tempo de criagao e 
processamento das threads acabaria por piorar o desempenho da aplicagao. 

O primeiro pas so no fluxo e o tratamento da base de dados que e salvo em uma 
matriz coluna, onde cada matriz corresponde a uma imagem. Em seguida, a matriz e 
dividida em partes ou batches. A quantidade de batches e correspondente a quantidade 
de testes que serao realizados no total. O primeiro batch e utilizado para escolha dos 
parametros do SVM: C e Gamma. Para isso, e realizado uma validagao cruzada combi- 
nando 8 valores para C e 8 valores para Gamma. O melhor valor de cada variavel sera 
usado de forma fixa no fluxo de dados. 

Para os testes, a base de dados foi dividida em 20 batches que simulam a entrada 
de novos dados. O modelo treinado com os dados iniciais e utilizado para a classificar 
o batch de imagens nao rotuladas. Em seguida, o batch recem classificado e passado 
para o algoritmo KDE. O KDE calcula as imagens que melhor representam a classe para 
qual foram classificadas. Uma certa porcentagem de imagens com maior densidade e 
retornada desse processo. As imagens retornadas serao usadas para treinar o SVM no 
batch seguinte, criando um novo modelo e sendo utilizado pra classificar o proximo batch 
de imagens nao rotuladas. O processo se repete ate o ultimo batch. 

A base de dados e composta de 9908 imagens, sendo estas divididas em duas clas¬ 
ses: Blusas femininas e oculos escuros. A classe ”blusas”e composta de 4976 imagens e a 
classe ”oculos”composta de 4932 imagens. Cada uma das imagens possui um tamanho de 
30x30 pixeis e para cada pixel contido na imagem e associado o valor das variaveis R, G 
e B, que correspondem aos nfveis de vermelho, verde e azul da imagem respectivamente, 
totalizando 2700 atributos para cada imagem. Neste trabalho abordamos o desempenho 
de todo o fluxo de classificagao na versao sequencial e paralelizado. 

3. Resultados 

Os testes foram realizados em uma maquina com as seguintes configuragoes: 

• Processador i5-4590 com 4 nucleos de 3.3 GHz 

• 6M de cache 

• 8 Gb de memoria 

No processamento sequencial foram obtidos os seguintes tempos, expressos em segundos: 

1. Processamento da base de dados: 8,7 s 

2. Processamento do Grid Search: 2.688 s 

3. Processamento do KDE: 148.370 s 



As tabelas 1, 2 e 3 mostram os resultados alcangados com a estrategia de paralelismo, 
variando em 2, 4 e 8 threads. Para medir o grau de aproveitamento dos recursos computa- 
cionais foi calculada a eficiencia, que consiste em uma divisao do speed up pelo numero 
de cores da maquina. 


Tabela 1. Paralelo com 2 threads 



Tempo(sec) 

Speedup 

Eficiencia 

Processamento Dataset 

4,42 

1,965 

0,982 

Selecao de Parametros 

1.492,87 

1,800 

0,900 

KDE 

78,91 

1,880 

0,940 


Tabela 2. Paralelo com 4 threads 



Tempo(sec) 

Speedup 

Eficiencia 

Processamento Dataset 

2,41 

3,605 

0,901 

Selecao de Parametros 

887,54 

3,029 

0,757 

KDE 

44,71 

3,318 

0,829 


Tabela 3. Paralelo com 8 threads 



Tempo(sec) 

Speedup 

Eficiencia 

Processamento Dataset 

3,11 

2,792 

0,349 

Selecao de Parametros 

749,79 

3,585 

0,448 

KDE 

48,67 

3,048 

0,381 





























4. Conclusao 

Observa-se que os speedups sao quase lineares para 2 e 4 threads em todas as 
etapas. Esse desempenho nao foi mantido com 8 threads, onde a eficiencia das etapas 
ficou entre 34,90% e 44,80%. Alem disso, olhando para o tempo de conclusao das etapas, 
os melhores resultados na etapa de selegao foram alcangados com 8 threads , com ganhos 
de ate 355% no tempo de processamento. Por outro lado, quando observa-se a eficiencia 
em conjunto com o tempo, os resultados com 4 threads foram melhores. 

Esse resultado mostra que a estrategia de paralelismo e promissora desde que a 
quantidade de threads seja limitada a quantidade de cores flsicos da maquina. Portanto, 
se temos mais processos que processadores, em um unico no, so teremos paralelismo se 
houver I/O, ou seja, enquanto processos estao aguardando I/O, outros podem disputar o 
processador. Caso contrario, os testes sugerem que as threads competem por recursos, 
que podem ser a cache e/ou os cores. 
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